В области искусственного интеллекта моделирование последовательностей смещает фокус со статических снимков на временные потоки. В стандартных задачах машинного обучения часто предполагается, что точки данных независимы и одинаково распределены (IID), то есть порядок выборок не влияет на результат.
Моделирование последовательностей явно отвергает это, опираясь на три ключевых принципа:
- Нарушение инвариантности к перестановке: В табличных данных порядок столбцов произволен. В последовательностях порядок — главный признак. Замена «The cat ate the rat» на «The rat ate the cat» фундаментально меняет семантическую истину несмотря на идентичные токены.
- Авторегрессионные свойства: Мы предполагаем, что наблюдение в момент времени $t$ математически обусловлено своей историей ($t-1, t-2, \dots, 1$). Это требует вероятностей переходов для описания эволюции информации.
- Отображение переменной длины: В отличие от фиксированных сеток 28x28 пикселей, такие последовательности, как предложения или сейсмические волны, эластичны. Модели должны обрабатывать входные данные длины $N$ и выдавать выходные данные длины $M$, используя одни и те же параметры.